查看原文
其他

如何做好慈善事业的监测与评估?这三个要素最重要 | 测量与评估

SSIR 斯坦福社会创新评论 2021-09-05



MEL(即慈善事业中的监测、评估和学习)将成为资助者和非营利组织战略发展的一个重要组成部分,并且指导我们实现更好的、更明智的决策和社会行动。

通过访谈和研究,我们找出了让MEL(即慈善事业中的监测、评估和学习)拥有美好前景的三个决定性因素1. 将决策置于MEL系统的中心。2. 为成员赋权,增加决策过程中的多样性、公平性和包容性。3. 促进规模化学习。

从本质上说,将决策置于MEL系统的中心,将使MEL系统具有更大的意义和更强的解析力;并且,与规模化学习的努力相结合,将提高整个系统的效率。





议题编辑:林夕、姚森议题顾问:汪伟楠作者:荣达·伊万斯、加布埃尔·贾思博、托尼·谢斯菲尔德 翻译:徐子萌校对:朱锦程、齐菁博



让我们花一分钟想一想,十年后,慈善事业中的监测(motinoring)、评估(evaluation)和学习(learning)(以下简称MEL)会走向何方。

 

未来很有可能就是我们目之所及的现有状态的一种延续。对监测和评估的需求会不断增加,但是要做到将其结果有效地纳入决策仍是一项挑战。虽然新的数据处理方式、工具和分析方法层出不穷,但资助者和受赠者却仍在复杂的环境和有限的资源中挣扎。尽管越来越多的资助者试图在评估活动中纳入他们所要帮助的人的声音,但相比起对受赠者或他们所服务的社区,MEL往往给基金会自己带来更多好处。

 

在这个“可预期的未来”,大多数基金会出于对声誉的担忧,或者担心管理层面和受赠方的曝光,故而继续紧紧抓住评估结果却不愿公开。虽然越来越多的组织在进行数据分析,但规模有限的数据集和缺乏系统性的数据共享限制了它们的作用。


但是,MEL也可能有着更积极美好的未来,在这个未来,持续的学习将成为核心管理工具,正如评论家范·琼斯(Van Jones)曾经说过的那样,基金会要“停下(一成不变的)拨款行为(giving grants),而开始(走出去不断学习)进行资助新尝试(funding experiments);在这个未来,基金会和受赠方将更公开和广泛地分享数据、学习成果和知识;在这个未来,关于机构需要什么,以及怎样走向成功的反馈意见将是战略制定和审查的核心。在这个“更美好的未来”中,MEL将成为资助者和非营利组织战略发展的一个重要组成部分,并且指导我们实现更好的、更明智的决策和社会行动。


要想让MEL从我们期待的未来走向现实,我们需要做些什么呢?

 

这个问题可以用德勤咨询公司旗下的摩立特研究所(Monitor Institute)的项目来解答,这一项目为期一年,由多方出资并以“重塑评估”为目标。


该项目由大卫与露西·帕卡德基金会(David and Lucile Packard Foundation)、詹姆斯·欧文基金会(James Irvine Foundation)、罗伯特·伍德·约翰逊基金会(Robert Wood Johnson Foundation)、贝彻尔基金会(S.D. Bechtel Jr. Foundation)、凯洛格基金会(W.K. Kellogg Foundation)和华莱士基金会(Wallace Foundation)支持,旨在突出现有的值得推广的亮眼表现,并启发人们对未来一系列“下一步实践”的尝试。  

 

我们的目标是在该领域举起一面反射现实的镜子,并在此过程中让单个组织和社会部门作为一个整体来探索和影响MEL可能的未来,而不是为任何一种方法、任何一个机构或项目发起人的观点背书。到目前为止,我们已经与125个以上的利益相关者进行了交流,包括基金会的高管和项目工作人员、评估专家、非营利组织的领导和数据专家。同时我们深入研究了文献综述,并使用专业的内容分析软件来完善我们的调查。


图片来源于pixabay


01

MEL创新的三大有前景的领域



通过访谈和研究,我们找出了让MEL拥有美好前景的三个决定性因素:


1. 将决策置于MEL系统的中心。

2. 为成员赋权,增加决策过程中的多样性、公平性和包容性。

3. 促进规模化学习。


对MEL来说,这些领域并不陌生,但只有在探索如何发展这其中的每一个领域时,我们才可以看到更有效的MEL系统的可能模样。

01将决策置于MEL系统的中心

创新最关键的方面之一是找到并推广那些更好的方法,以便能将决策置于MEL的中心——即要确保我们收集数据和选择方法的方式是以基金会、非营利组织和其他社会部门领导人需要做出的决策为导向的。

评估的出发点往往是怎样理解报告的要求以及如何明确指标和方法的选用,而不是从决策者的角度出发,考虑“我需要知道什么,才能让自己在影响力创造上做出更明智的选择”这样更深层次的问题。正如一位专家告诉我们的那样,“我们需要的不是循证决策(evidence-based decision-making),而是循策举证(decision-based evidence-making)”。战略和决策需要更加灵活和持续的反馈渠道,将决策与正确的数据联系起来,进行有说服力的分析,并将这些认知纳入决策过程。
                     
02为成员赋权

促进决策中的多样性(diversity)、公平性(equity)和包容性(inclusion)(以下简称DEI)

多样性,能让决策中有更多独特的观点和生活经验;公平性的重点是在决策程序中促进正义、中立和公平;包容性是指具有不同观点和背景的个人能够充分参与决策过程的程度。所有这些力量都将推动MEL的创新。

MEL过程的参与者(和非参与者)会改变提出的问题、评估的内容以及信息的使用方式。利用DEI的视角,对于正确识别社会和环境需求、建立跨干预措施的联系,以及让利益相关者参与解决自身面对的挑战至关重要。采取这种立场对于建立反馈意见也是至关重要的,因为它可以将利益相关者的观点放在社会影响力工作的中心,即什么是需要的,什么是有效的。

03促进规模化学习

第三个对创新非常重要的方面是资助者和非营利组织如何共同学习。我们必须更好地相互学习、相互借鉴——所有那些好的、坏的和不确定的经验——以更好地适应当今社会和环境问题的规模和复杂性。这需要集体知识工作的进步,促进可操作的学习,并在追求标准化与组织的具体需求之间取得平衡。共同学习和使用新的数据分析方法,还需要在基础设施和工具上进行投资,以便在规模化的组织中聚合信息和认知。


从本质上说,将决策置于MEL系统的中心,将使MEL系统具有更大的意义和更强的解析力;在MEL中推广DEI,将拓宽解读信息的视野,使获得有效成果更为可能;并且,与规模化学习的努力相结合,将提高整个系统的效率。

 

然而,在实现这三个走向美好未来目标的道路上,我们还面对一些实际障碍。我们已经与资助者、非营利组织和其他机构一起,识别出了那些可以帮助我们克服重要障碍的杠杆,包括:

 

· 激励机制的缺失和错位,会产生低质量的效益信息。对错误信息的关注,以及缺乏反馈,所有这些都使资助者和非营利组织难以做出正确的决策,也难以从错误中吸取教训。


· 个人和集体能力不足,限制了执行工作。非营利组织领导人存在能力不足的问题已经清楚不过,,而且基金会在有效收集和使用信息所需的数据系统、人力资本和技术支持方面的投资(时间和资金)也同样一直存在不足。


· 实践、工具和技术过于复杂和昂贵,妨碍实践过程。即使在数据收集方法和分析方面有了创新,但人们仍觉得许多现有的解决方案成本太高或难以实施。


▲图片来源于pixabay


02

积极的方面


                       

尽管存在这些障碍,我们也已经有了许多不错的尝试。例如,在线慈善平台GlobalGiving使用基于积分的激励结构来促进各个组织参与其网站的组织学习。当组织征集支持者的反馈(无论是正面的还是负面的)时,他们会获得一些好处,比如在这一在线慈善平台网站上的位置露出,从而增加带来其筹款的增长。


同时,家庭自立计划(Family Independence Initiative,FII)则利用以人为本的设计实践和新技术工具,与低收入社区建立信任,并深入了解它们。首先,参与FII的家庭通过一个在线平台记录他们的生活情况。然后,FII利用这些数据来调整其资源,以满足这些家庭自己定义的优先需求。它还与这些家庭分享所收集的数据,鼓励他们对自己的活动保持透明而不必担心受到惩罚,并授权他们利用自己的个人数据来指导和改善自己的选择。


而由乔治·索罗斯创立的国际慈善网络“开放社会基金会”( Open Society Foundations, OSF)已开始将关于学习的对话与关于资源分配的会议分开。它每两年对每个领域的工作进行一次“综合评估”,让项目工作人员和董事会成员对他们的活动进行自我批评,评估哪些是有效的,哪些是无效的。而有别于“综合评估”,作为战略评估的一部分,计划分配决策要到两年后才做出。这项战略评估不仅要反映受赠方的业绩,而且还需反映OSF在战略评估的方法上的改进——也就是以学习为焦点的综合评估。

 

通过我们的项目,我们将继续记录数百个类似这样的新兴亮点,确定可能阻碍进展的陈旧观念,从体育分析、以病人为中心的医疗卫生保健和行为经济学等重要的相似领域中汲取教训,发现那些正要浮出水面、可能具有破坏性的、为MEL带来新挑战和机遇的趋势。我们希望开发一系列的实验,让资助者和非营利组织的领导人可以单独或者合作进行测试,以此来改变他们的思维模式和行为,使MEL领域在未来几年内走向更美好的未来。


作者:荣达·伊万斯(Rhonda Evans)是Monitor Institute的高级经理,该研究所是德勤(Deloitte)旗下的一家咨询和智囊机构。她是研究所影响力评估计划的联合负责人,在使用数据和度量系统开发以促进环境和社会福祉方面拥有超过15年的经验;加布埃尔·贾思博(Gabriel Kasper)是Monitor Institute的董事总经理。他之前是大卫与露西·帕卡德基金会的项目官,Blueprint Research and Design的顾问以及伯克利社区基金会的社区项目经理;托尼·谢斯菲尔德( Tony Siesfeld )也是Monitor Institute的董事总经理。他与伊万斯共同领导该研究所的影响力评估计划,并拥有30年为世界各地的组织提供评估,评估和数据分析服务的经验。




关联阅读


 


1. 创新的效果如何测量?善用不确定性 | 测量与评估


2. 5个步骤打造一个令人信服的影响力评估 | 测量与评估

3. 小心“踩雷”!影响力评估的十个误区 

4. 一个好的影响力评估要考虑哪些问题?

5. 社会变革的“新势力”,通过共享控制权产生影响力



: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存